#long-horizon reasoning - AI Papers Daily

Tasks over Application Manuals: Revealing Gaps in Long-Horizon Procedural Reasoning for Language Models

应用手册任务：揭示语言模型长程程序推理的缺陷

🧭 长程程序推理评测

Manulife

构建 TAM 基准，用两类真实手册任务评估 GPT-5，发现精确匹配仅 1% 和 15.5%

📌 工作参考价值（4 点）

业务中高度规则化、需要跨文档查询的任务（广告政策、促销/优惠券规则、售后条款）不要直接交给 GPT-5 端到端生成最终判定；应拆成可校验的子步骤，每步做精确匹配或规则引擎兜底，LLM 只做信息抽取/语义匹配。
RAG 和 ReAct 在长程手册任务上没解决根本问题，说明长文档检索准确率是瓶颈；可先做语义切分、section-level 索引、规则预先结构化（如将条款转成可执行 DSL/知识图谱），把“翻手册”转化为确定性查表。
建立内部评测时，用逐条人工验证的 exact-match 指标，不要只看模型输出“像不像”；TAM 的构建方法可复制到自己的业务手册/政策库上，先测 GPT-5 类模型的基线。
Agent harness 可能因循环步骤长而累积错误，建议设置中间状态校验点、限制 ReAct 步数，并把高置信度规则提前缓存到上下文。

Eval | 2026-09-11 | cs.AI | score 6/10

前缀滑动：高效测试时扩展

🧭 长程推理 · 前缀滑动窗口 ★ 深度解读

Stanford University · University of California, Santa Barbara · Prime Intellect · University of Washington

保留前缀与最近滑动窗口、丢弃中间推理 token，实现恒定成本的长程推理，无训练 3 倍加速

📌 工作参考价值（4 点）

长程 Agent/工具调用（多跳搜索、自动比价、复杂排障）：把 system prompt、工具定义、任务描述固定为 prefix，中间推理只保留最近 2048-4096 的 sliding window；能显著降低 KV cache 与时延，且基本不掉点。
用 GRPO/在线 RL 训长 reasoning/Agent 模型时，直接复用 truncated backpropagation：只把最后 4×window tokens 传给 trainer，loss 只算最后 window；可避开 OOM，KL 偏差小，适合异步 RL 长 rollout。
工程上避免用 last k / summary 做长上下文压缩：会重复处理 token 或引入额外摘要 step，导致显存锯齿与延迟尖峰；Prefix Sliding 的 custom kernel 用 tile skipping 能保持吞吐稳定，接近 vanilla sliding window。
注意适用边界：若 Agent 要读长文档、长 API 返回或长代码补全（类似 LiveCodeBench），窗口建议至少 16K，或把关键证据动态追加到 prefix；短文本任务（query 改写、短推荐理由）加速有限。

Reasoning | 2026-08-26 | cs.LG | score 8/10